我们研究Livingstone＆Zanella（2021）中引入的一阶级本地平衡的大都市 - 黑斯廷斯算法（2021）。要在类中选择特定算法，用户必须选择平衡函数$ g：\ mathbb {r} \ to \ mathbb {r} $满足$ g（t）= tg（1 / t）$，以及噪声分布提案增量。课程中的流行选择是Metropolis调整的Langevin算法，最近推出的Barker提案。我们首先建立一个普遍限制的最佳验收率为57％，并为N $ N $的缩放，因为维度在$ G $的温和平滑假设下的所有成员之间的无限程度倾向于无限算法的目标分布是产品形式。特别地，我们通过预期的平方跳跃距离来获得类中任意算法的渐近效率的显式表达式。然后，我们考虑如何在各种约束下优化此表达式。我们为Barker提案提供了最佳的噪声分布选择，在高斯噪声分布​​下的平衡功能的最佳选择，以及整个类中的一阶本地平衡算法的最佳选择，结果取决于特定的目标分布。数值模拟确认了我们的理论发现，特别表明，Barker提案中的双模噪声分布选择产生了比原始高斯版本始终如一的效率的实用算法。

Searching for a path between two nodes in a graph is one of the most well-studied and fundamental problems in computer science. In numerous domains such as robotics, AI, or biology, practitioners develop search heuristics to accelerate their pathfinding algorithms. However, it is a laborious and complex process to hand-design heuristics based on the problem and the structure of a given use case. Here we present PHIL (Path Heuristic with Imitation Learning), a novel neural architecture and a training algorithm for discovering graph search and navigation heuristics from data by leveraging recent advances in imitation learning and graph representation learning. At training time, we aggregate datasets of search trajectories and ground-truth shortest path distances, which we use to train a specialized graph neural network-based heuristic function using backpropagation through steps of the pathfinding process. Our heuristic function learns graph embeddings useful for inferring node distances, runs in constant time independent of graph sizes, and can be easily incorporated in an algorithm such as A* at test time. Experiments show that PHIL reduces the number of explored nodes compared to state-of-the-art methods on benchmark datasets by 58.5\% on average, can be directly applied in diverse graphs ranging from biological networks to road networks, and allows for fast planning in time-critical robotics domains.

超参数优化是识别给定的机器学习模型的适当的超参数配置的过程。对于较小的数据集，可以进行详尽的搜索；但是，当数据大小和模型复杂性增加时，配置评估的数量成为主要计算瓶颈。解决此类问题的有希望的范式是基于替代物的优化。此范式基础的主要思想考虑了超参数空间与输出（目标）空间之间关系的增量更新模型；该模型的数据是通过评估主学习引擎来获得的，例如基于计算机的模型。通过学习近似超参数目标关系，可以使用替代（机器学习）模型来评分大量的超参数配置，并探索除直接机器学习引擎评估的配置空间的一部分。通常，在优化初始化之前选择替代物，并且在搜索过程中保持不变。我们调查了在优化本身期间代孕物质的动态切换是否是选择最合适的基于计算机的大规模在线推荐的最合适的分解模型的实用相关性的明智概念。我们对包含数亿个实例的数据集进行了基准测试，以针对既定基线，例如随机森林和高斯基于过程的替代物。结果表明，替代转换可以提供良好的性能，同时考虑学习引擎评估较少。

我们应对嵌入功能的挑战，以改善点击率预测过程。我们选择了三个模型：逻辑回归，分解机和深层分解机，因为我们的基准并提出了五个不同的功能嵌入模块：嵌入缩放，FM嵌入，嵌入编码，NN嵌入，嵌入和嵌入重新加权模块。嵌入模块是改善基线模型特征嵌入的一种方式，并以端到端方式与其余模型参数一起训练。每个模块分别添加到基线模型中，以获得新的增强模型。我们在用于基准点击率预测模型的公共数据集上测试了增强模型的预测性能。我们的结果表明，几个建议的嵌入模块为预测性能提供了重要的提高，而不会大幅度增加训练时间。

图神经网络（GNN）已成功应用于许多真实世界静态图。但是，由于模型设计，评估设置和训练策略的局限性，静态图的成功尚未完全转化为动态图。具体而言，现有的动态GNN并不包含静态GNN的最新设计，从而限制了其性能。动态GNN的当前评估设置不能完全反映动态图的不断发展的性质。最后，用于动态GNN的常用训练方法是不可扩展的。在这里，我们提出了Roland，这是现实世界动态图的有效图表学习框架。 Roland框架的核心可以帮助研究人员轻松地将任何静态GNN重新用于动态图。我们的见解是将不同GNN层的节点嵌入视为分层节点状态，然后随着时间的推移将其反复更新。然后，我们为动态图引入了实时更高的评估设置，该设置模仿了现实世界中的用例，其中GNN正在做出预测并在滚动基础上进行更新。最后，我们通过增量训练和元学习提出了一种可扩展有效的训练方法，以动态GNN。我们在未来链接预测任务上对八个不同的动态图数据集进行了实验。在三个数据集的标准评估设置下，使用Roland框架建立的模型平均相对平均互惠等级（MRR）的平均相对平均值（MRR）改进。我们发现对较大数据集的最先进的基线经历了不可存储的错误，而Roland可以轻松地扩展到5600万个边缘的动态图。在使用ROLAND训练策略重新实现这些基准线后，Roland模型平均相对于基线相对相对改善了15.5％。

视觉关系构成了理解我们的构图世界的基础，因为视觉对象之间的关系捕获了场景中的关键信息。然后，从数据自动学习关系是有利的，因为使用预定义的标签学习无法捕获所有可能的关系。但是，当前的关系学习方法通​​常需要监督，并且并不是旨在概括与培训期间相比，具有更复杂关系结构的场景。在这里，我们介绍了Virel，这是一种使用图形级别类比的无监督发现和学习视觉关系的方法。在任务中的场景共享相同的基本关系子图结构的环境中，我们对比的同构和非同构图的学习方法以无聊的方式发现了跨任务的关系。一旦学习了关系，Virel就可以通过解析预测的关系结构来检索每个任务的共享关系图结构。使用基于网格世界和抽象推理语料库的数据集，我们表明我们的方法在关系分类中达到了95％的精度，发现了大多数任务的关系图结构，并进一步概括了具有更复杂关系结构的看不见的任务。

人类具有以零拍的方式识别和获取新颖的视觉概念的非凡能力。考虑到以前学到的视觉概念及其关系的高级，象征性的描述，人类可以识别新颖的概念而不看到任何例子。此外，他们可以通过学习视觉概念和关系来解析和传达符号结构来获取新概念。赋予机器中的这些功能在提高推理时提高其概括能力方面至关重要。在这项工作中，我们介绍了零拍的概念识别和获取（ZEROC），这是一种神经符号结构，可以以零拍的方式识别和获取新颖的概念。 ZEROC代表概念作为组成概念模型的图（作为节点）及其关系（作为边缘）。为了允许推理时间组成，我们采用基于能量的模型（EBM）来建模概念和关系。我们设计ZEROC架构，以便它允许在概念的符号图结构及其相应的EBM之间进行一对一的映射，该图是第一次允许获取新概念，传达其图形结构并将其应用于分类和分类和在推理时检测任务（甚至跨域）。我们介绍了用于学习和推断ZEROC的算法。我们在一个充满挑战的网格世界数据集上评估了零，该数据集旨在探测零拍的概念识别和获取，并展示其功能。

在许多科学和工程领域（例如流体动力学，天气预报及其反相反的优化问题）中，模拟大规模系统的部分微分方程（PDE）的时间演变至关重要。但是，由于它们的局部进化，因此经典的求解器和最近的基于深度学习的替代模型通常在计算中都非常密集：他们需要在推理期间的每个时间步骤更新每个离散的单元格的状态。在这里，我们开发了PDE（LE-PDE）的潜在进化，这是一种简单，快速和可扩展的方法，可以加速PDE的仿真和逆优化。 Le-Pde学习了系统的紧凑，全球表示，并通过学习的潜在进化模型有效地在潜在空间中充分进化。 LE-PDE通过在长时间推出期间更新的潜在维度要更新而与输入空间更新相比，可以实现加速。我们介绍了新的学习目标，以有效地学习这种潜在动力，以确保长期稳定。我们进一步介绍了通过在潜在空间中通过反向传播来加速PDE的边界条件的反向优化的技术，以及一种退火技术来解决边界条件的非差异性和稀疏相互作用。我们以非线性PDE的1D基准测试我们的方法，2D Navier-Stokes流入湍流相，并在2D Navier-Stokes流中对边界条件进行反相反优化。与最先进的基于深度学习的替代模型和其他强大的基线相比，我们证明了更新的尺寸降低了128倍，速度提高了15倍，同时提高了竞争精度。

地下模拟使用计算模型来预测流体（例如油，水，气体）通过多孔介质的流动。这些模拟在工业应用（例如石油生产）中至关重要，在这些应用中，需要快速，准确的模型来进行高级决策，例如，进行井安置优化和现场开发计划。经典的有限差数数值模拟器需要大量的计算资源来对大规模现实世界的水库进行建模。另外，通过依靠近似物理模型，流线模拟器和数据驱动的替代模型在计算上更有效，但是它们不足以在大规模上对复杂的储层动力学进行建模。在这里，我们介绍了混合图网络模拟器（HGNS），这是一个数据驱动的替代模型，用于学习3D地下流体流的储层模拟。为了模拟局部和全球尺度上的复杂储层动力学，HGN由地下图神经网络（SGNN）组成，以建模流体流的演化和3D-U-NET，以建模压力的演变。 HGNS能够扩展到每个时间步长数百万个单元的网格，比以前的替代模型高两个数量级，并且可以准确地预测流体流量数十亿个时间步长（未来几年）。使用带有110万个单元的行业标准地下流数据集（SPE-10），我们证明HGNS能够将推理时间降低到与标准地下模拟器相比，最高18次，并且通过降低基于学习的模型，它可以优于其他基于学习的模型长期预测错误高达21％。

对象的嵌入，低维矢量表示，在构建现代机器学习系统中至关重要。在工业环境中，通常有一个嵌入式团队训练嵌入模型来解决预期的任务（例如，产品建议）。然后，消费者团队广泛消耗了生产的嵌入，以解决其意外任务（例如，欺诈检测）。但是，随着嵌入模型的更新和重新培训以提高预期任务的性能，新生成的嵌入不再与现有的消费者模型兼容。这意味着嵌入的历史版本永远无法退休，或者所有消费者团队都必须重新训练模型，以使其与最新版本的嵌入式兼容，这两者在实践中都是非常昂贵的。在这里，我们研究了嵌入版本更新及其向后兼容性的问题。我们正式化了嵌入团队继续更新嵌入式版本的目标，而消费者团队不必重新训练他们的模型。我们开发了一种基于向后兼容的嵌入式学习的解决方案，该解决方案允许嵌入模型版本经常更新，同时还允许将最新版本的嵌入式版本快速转换为IT的任何向后兼容的历史版本，以免消费者团队不使用消费者团队。必须重新训练他们的模型。在我们的框架下，我们探索六种方法，并在现实世界中的推荐系统应用程序上系统地评估它们。我们表明，即使在多个模型版本更新之后，我们称为BC-Aligner的最佳方法也可以与现有意外任务保持向后兼容性。同时，BC-Aligner实现了预期的任务性能，类似于仅针对预期任务进行优化的嵌入模型。